# coding:utf-8

from pyspark import SparkConf,SparkContext
import os
os.environ['JAVA_HOME'] = "/server/jdk"


if __name__ == '__main__':
    # 0、初始化环境、构建SparkContext对象
    conf = SparkConf().setAppName('test').setMaster('local[*]')
    sc = SparkContext(conf = conf)

    # 演示通过并行化集合的方式去创建RDD(本地集合 -> RDD)
    rdd = sc.parallelize([1,2,3,4,5,6,7,8,9])
    # parallelize 没有给分区数时，分区是多少
    print('默认分区数： ', rdd.getNumPartitions())

    rdd = sc.parallelize([1,2,3,4,5,6,7,8,9],16)
    print('分区数： ', rdd.getNumPartitions())

    # collect 方法是将RDD(分布式对象)中每个分区的数据，都发送到 Driver 中，形成一个python List对象
    # collect: 分布式 -> 本地集合
    print('rdd的内容是:',rdd.collect())